#!/bin/bash
#--------------------------------------------------------------------
# 版权信息：版权所有(C) 2018，海致星图# 文件名称: hive_copy_local_zstp.sh
# 创建者  : 高俊# 创建时间: 2018-07-11# 版本信息: V1.0
# 描述    : 解析完成的脚本下载至本地并打包
# 部署路径：/bigdata/etl_dap/ODM/shell
# 输入参数: 无
# 使用举例: sh hive_copy_local_zstp.sh 20181104
#--------------------------------------------------------------------
# 修改历史：# 版本     更改日期       更改人           更改说明#
#--------------------------------------------------------------------

# 固定取前一天的数据
loaddt=`date +%Y%m%d -d "1 day ago"`
#数据解析HDFS下载至本地存放的目录
JX_DATA_DIR=/data/dfs/dn/1/ware/bigdata/data/OUTPUT/ZSTP/base_data

WORK_DIR=$(cd `dirname $0`/; pwd)

#知识图谱配置文件
cat ${WORK_DIR}/conf/hive_copy_local_zstp.conf | while read conf_line

do echo $conf_line | awk -F' ' '{print $1,$2}'  | while read hivedb hivetable

   do hivedb=$hivedb  hivetable=$hivetable
   if [ -d ${JX_DATA_DIR}/${loaddt}/${hivetable} ];then
   rm -rf ${JX_DATA_DIR}/${loaddt}/${hivetable}/*
   else 
   mkdir -p ${JX_DATA_DIR}/${loaddt}/${hivetable}
   fi
   echo "hadoop fs -getmerge /user/hive/warehouse/${hivedb}.db/${hivetable}/load_dt=${loaddt}/* ${JX_DATA_DIR}/${loaddt}/${hivetable}/${hivetable}"
   hadoop fs -getmerge /user/hive/warehouse/${hivedb}.db/${hivetable}/load_dt=${loaddt}/* ${JX_DATA_DIR}/${loaddt}/${hivetable}/${hivetable}
   done
done

cd ${JX_DATA_DIR}

tar -zcf sjjx_cs_${loaddt}.tgz ${loaddt}

rm -rf  ${loaddt}
